Vào thời vua Gia Long, năm Gia Long thứ 3 (1804), khi xây dựng hệ thống quan chế, đã đặt vị trí quản lý phủ Tôn nhân (Tôn nhân lệnh) ở trên cả bậc chánh nhất phẩm, hai vị trí xếp thứ nhì của phủ Tôn nhân (tả hữu Tôn chính Phủ Tôn nhân) đều ở bậc chánh nhất phẩm.

Theo "Đại Nam thực lục", vào tháng Giêng năm Minh Mạng thứ 5 (1824), nhà vua "Cho Tôn nhân phủ 1.000 quan tiền, phàm người tôn thất có việc hiếu hỷ thì những người tộc trưởng tùy theo xa gần, thân sơ dùng làm hai lễ hồng bạch (hồng là lễ hỷ, bạch là lễ tang), mỗi năm một lần tâu sổ chi tiết, cấp cho". Tháng 8 năm Minh Mạng thứ 17 (1836), bắt đầu đặt quan chức ở Tôn nhân phủ[1] bao gồm

• Tôn Nhơn lệnh: 1 người
• Tả Hữu Tôn chính: 2 người
• Tả hữu Tôn nhân: lấy các Hoàng tử có tước Vương hoặc tước Công; coi việc sổ sách, xếp đặt tước lộc và phân chia ân lộc của Hoàng đế.
• Tả Hữu Tôn khanh: lấy các người tước Tam phẩm trong hàng Tôn Thất; văn võ mỗi hàng 1 người; phụ trách biên soạn sổ sách của Tôn Thất, xét thứ tự thừa ấm, tập ấm, phẩm trật cùng lương bổng.
• Tư giáo: hàm Tòng lục phẩm; là tộc trưởng của các hệ 1, hệ 2, hệ 3, hệ 5, hệ 7, hệ 9; mỗi hệ 1 người. Lấy người trong Tôn Thất đã có quan chức tương ứng mà kiêm sung, nếu không đủ thì nâng lên cho khớp, sau đó mới bổ nhiệm chức này.

Ngoài ra còn có Thừa Biện ty, được quản lý bởi một Lang trung hàm Chính tứ phẩm; Viên ngoại lang hàm Chính ngũ phẩm cùng Chủ sự hàm Chính lục phẩm. Dưới nữa còn có Tư vụ hàm Chính thất phẩm cùng Thư lại, hàm Chính Bát Cửu phẩm. Chức Thư lại được điều động vô phụ tá các [Tư giáo] của các phòng hệ.

Ban đầu, Tôn Nhân phủ chỉ là nơi lưu giữ ghi chép, song về sau cơ quan này cũng có quyền hạn giải quyết các vấn đề có liên quan đến các Thân vương, Công tử và Công tôn trong hoàng tộc.

Thời Pháp thuộc, từ năm 1897, Hội đồng Tôn Nhơn phủ chịu sự kiểm soát trực tiếp của Toà Khâm sứ Trung Kỳ.

Đến năm 1945, sau khi triều Nguyễn cáo chung, Phủ Tôn Nhân cũng không còn lý do gì để tồn tại. Tôn Nhân Phủ chuyển đổi thành một tổ chức dòng họ lấy tên là Hội đồng trị sự Nguyễn Phước Tộc dưới sự cố vấn trực tiếp của Đức Từ Cung.[2]